深度起底 10 家被苹果收购的公司后,我们发现了 iPhone X 四大技术的起源
- shenzhenware -
上周的苹果新品发布会后,相信很多果粉都正在 iPhone X 与 iPhone 8 之间选择谁而纠结踌躇,也没弄明白三款新品之间最大相差 3800 元的价值究竟体现在哪里。
下面是经过详细的参数比较之后,我们发现三款新 iPhone 在功能上的不同之处:
iPhone X、iPhone 8 和 iPhone Plus 硬件参数,资料由深圳湾整理
通过上表能发现,除了 OLED 全面屏(由三星提供),iPhone X 的技术亮点几乎全体现在 iPhone X 正上方凹槽处的原深感摄像系统(TrueDepth Camera System)能实现的功能:Face ID 人脸解锁,人像特效自拍、能实现 AR 三维效果的叠加,以及 Animoji 三维动画表情。
iPhoneX 正上方的凹槽处从左到右依次是红外镜头、泛光感应元件、距离传感器、环境光传感器、扬声器、麦克风 、700 万像素摄像头、点阵投影器。
而通过梳理苹果近 7 年来在视觉传感领域的一些收购案例,我们也发现这些新技术的来源几乎都不是属于苹果原创,而均与被苹果收购的公司有着或多或少的关系:
2010~2017 年苹果收购的 10 家面部识别及 AR 公司,资料由深圳湾整理
接下来,我们梳理了此次 iPhone X 具有的 AR、Animoji、Face ID 及人像特效拍照等四项技术对应被苹果收购的公司:
1 Prime Sense:苹果 3D 深感相机系统的奠基性收购
要深究苹果深度传感相机的技术源头,就不得不提被誉为 3D 传感技术「鼻祖」的 Prime Sense。
Prime Sense 创立于 2005 年,是一家诞生于色列的公司(之后收购的 Realface、LinX 同样来自色列)。创始人 Maizels 和其他 4 名联合创始人早期为以色列军方服务,他们都有很强的科研背景,分别拥有工程学、计算机科学以及数学学位。
Prime Sense 五位联合创始人(从左至右):Alexander Shpunt,Dima Rais,Ophir Sharon,Tamir Berliner 及 Aviad Maizels。
在与军方的合作停止后 ,Maizels 及伙伴们并没有去找工作,而是在思考,通往下一场变革的道路在何方。他们觉得此前人机交互方式很单一,于是 Maizels 及团队决定做一项能赋予机器视觉能力的技术。
通过不断地讨论,他们很快将目光聚焦在了停滞不前的游戏领域,并决定作出一款能让电脑「看见」人的动作的摄像头;紧接着,公司名字也敲定下来了——「Prime Sense」。
之后 Prime Sense 发展很快,成立一个月后他们就拿出了产品硬件原型,于 2006 年宣布完成 3D 感应芯片的研发,并推出一个装载 Prime Sense 3D 传感器的 RGB 红外相机,声称其能追踪几英尺外的整个人体的动作。
之后与微软的合作成为 Prime Sense 的一个重要转折点,让 Prime Sense 迅速成长为一个国际化的公司,并将业务扩展到了亚洲与美洲。
Kinect 创造了极具沉浸感的 3D 体感游戏方式,曾备受追捧
2010 年,Prime Sense 与微软合作推出的 3D 体感摄影机 Kinect,这是一款能让玩家通过肢体动作直接控制游戏的硬件产品。很快 Kinect 就成为世界上卖的最快的消费类电子设备,据统计在 2010 年 11 月 4 日至 2011 年 1 月 3 日这段时间中,微软平均每天售出 13 万台 Kinect 设备。
但不久后 Prime Sense 与微软的合作就破裂了,微软开始自研体感相机技术,并于 2013 年发布微软内部研发的全新一代 Kinect;而从 2010 年底 , PrimeSecse 也相继与华硕合作打造了 Xtion Pro(即华硕版的 Kinect),建立了 3D 视觉技术开源社区 OpenNI,并开始寻求在游戏之外领域的合作。
2012 年,Prime Sense 遭遇了一场裁员风波,公司员工数从 190 位员工中减少到 140,原因是产品路线变更。
2013 年 Prime Sense 发布了 Cari,这款当时世界上最小的 3D 芯片,能探测到的深度是之前处理器的 3 倍,尺寸却是原有版本的十分之一。
或许正是 Cari 的推出,让苹果看见了这款芯片应用在智能手机上的可能。2013 年 11 月,苹果以 3.6 亿美元的价格收购了 Prime Sense,自那以后 Prime Sense 便宛如消失了一般,再没对外发布过任何产品和技术。
直至此次 iPhone X 的发布,我们再次从新一代 iPhone 身上看到了 Prime Sense 的影子,你甚至可以将苹果的「刘海」视作一个缩小版的 Kinect。
使用了 Prime Sense 技术方案的 XBOX 360
可以说是 Prime Sense 提供给苹果优秀的 3D 传感及精准的地理追踪性能,构成了 iPhone X 的 AR、Animoji 、Face ID 及人像特效拍摄等亮点功能的技术基础。
2 Metaio: AR 引擎界的一大支柱
与其他小而美的收购不同,在被苹果收购之前,Metaio 早已是 AR 界的霸主之一。
其包括 Metaio Creator 在内的多项增强现实技术被用于零售、汽车等多个民用行业,在全世界 30 个国家有 1000 多个企业客户和超过 15 万开发者用户,服务的公司包括奥迪、宝马、乐高玩具、微软等知名企业。
在早期 Metaio 的技术视频中,也能看到 ARKit 的影子:
2003 年,Metaio 成立于德国慕尼黑,是从大众一个子项目孵化出来的 AR 软件公司,一直专注于增强现实与计算机视觉解决方案,公司创始人为 Thomas Alt 和 Peter Meier。
2005 年,Metaio 发布了第一款终端 AR 应用 KPS Click & Design,让用户把虚拟的家具放到自家的客厅图像中。此后,Metaio 陆续发布多款 AR 产品,在 2011 年赢得了国际混合与增强现实会议追踪比赛(ISMAR Tracking Contest)大奖。
在 2015 年 5 月 被苹果收购后 ,Metaio 的 SDK 便不再向开发者开放,就像所有被苹果收购的技术公司一样,经历了两年的沉默期后,其 AR 技术已经被苹果吸收进新一代 iPhone 中并化身为 ARKit 重出江湖了。
https://v.qq.com/txp/iframe/player.html?vid=q01655d92fn&width=500&height=375&auto=0
3 Animoji:Faceshift 的表情识别 + Emotient 的情绪识别
发布会现场 Animoji 几乎是让所有人都惊喜的一个亮点。
上面说道,Prime Sense 的 3D 深度相机奠定了整个苹果 AR 技术的硬件基础,但 Faceshift 才是真正构成 Animoji 的技术原型。
Faceshift 成立于 2011 年,最初由苏黎世学者 Thibaut Weise、Brian Amberg 和 Sofien Bouaziz 创立,是从瑞士洛桑法兰克福理工学院计算机图形和几何实验室孵化出的创业项目。
Faceshift 起初关注的焦点在游戏与影视领域,在被苹果收购前 Faceshift 最出色的作品便是『星球大战:原理觉醒』,能通过对人类面部表情进行精准动态捕捉,并几乎无延时地反馈到 3D 动画人物模型上。这意味着电影工作者能实时制作演员的面部表情,而无需使用昂贵的后期制作技术。
https://v.qq.com/txp/iframe/player.html?vid=i0321mh3lb5&width=500&height=375&auto=0
有趣的是,早期 Faceshift 的软件技术是建立在微软 Kinect 摄像头 3D 成像技术的基础上的。
如果说 Faceshift 将面部识别实时映射技术做到了顶级水平,那么苹果在 2016 年对 Emotient 的收购则是大大丰富了其人脸识别技术的应用场景,可以认为是继 Prime Sense 与 Faceshift 之后的一次技术补充型收购。
Emotient 项目起源于加利福利亚大学「机器感知实验室」,项目成员曾宣称他们的终极目的是要打造一套「无处不在」的人类感情分析系统。简单来介绍其 Emotient 的技术就是:除了能够利用摄像头来捕捉、记录面部肌肉运动,还能通过计算模型分析出类似于喜悦、愤怒、悲伤、惊讶等基础表情。
而在 Animoji 的现场演示中,我们也能看到其能准确的模拟人类的情绪化表情。在未来,这项技术也能广泛用于机器学习技术中,让我们的手机变得更加聪明,例如:通过识别用户的表情变化来获知他玩一款游戏时的心理变化,通过对顾客的感受进行实时分析,来设计出更符合玩家心理预期的游戏。
4 Face ID:Realface 生物识别登录系统
Realface 同样来自以色列,与收购 Prime Sense 不同,Realface 的目的性更加明确,那就是专为 iPhone 8 及 iPhone X 的推出而做出的补充性收购。
这家做人脸识别的公司成立于 2014 年,最开始做的也不是人脸识别,而是做照片筛选功能。在被苹果收购前,曾拿过一笔 100 万美元的融资,被苹果收购时公司人数只有 10 人。
它的第一款产品是名为 Pickeez 的 App。利用 Pickeez,手机帮用户迅速从相册中选出一张照得最好的照片。由于后来出了不少类似应用,RealFace 才开始做起了人脸识别功能。它的人脸识别功能主要利用深度学习技术,让计算机对大量图片进行学习,并建立模型实现对照片中人脸的识别。
仔细看上图,有没有种在 iPhone X 发布会上似曾相识的感觉
4 LinX:人像特效助力 iPhone X 化身为高颜值利器 46 33211 46 15290 0 0 4041 0 0:00:08 0:00:03 0:00:05 4040
在被苹果收购前,LinX 只是一家名不见经传的以色列创业公司。
LinX 成立于 2011 年,由一位三星前高管和一位以色列国防部供应商的光学专家在共同创建,专注于为移动设备设计微型多孔摄像头。2015 年被苹果以 2500 万美元收购。
LinX 此前一直宣称自己的目标是「通过多镜头系统,让移动设备的拍摄效果达到单反级别」。通过 LinX 开发的镜头,配合一系列传感器,可以从每个像素提取深度信息,创建深度贴图,并用来进行 3D 图像重建。
在 2014 发布多镜头系统的公告中,LinX 特地强调,他们的传感器可以大幅度提高昏暗条件下的拍照效果、缩短曝光时间,并放出了对比图。
看到「景深」、「低光拍摄」、「光学防抖」这些关键词,你是不是立马能想到发布会上苹果全球营销高级副总裁 Phil Schiller 介绍 iPhoneX 时用到的词汇。
没错,实现这些以往只有专业的单反相机才有的功能,靠的就是 LinX 的技术。而 Lin X 的技术要点主要体现在下面几个方面:
降噪画质:LinX 所谓的单反级画质是说他们的摄像头将会提供超低噪点表现,画面更明亮更清晰,能捕捉比单孔摄像头更多的细节。
LinX 与 5S 的摄像效果对比图
室内光源:LinX 传感器比收购前的 iPhone(如 iPhone 5)及三星 Galaxy S4 能接收到更多的光线,照片清晰锐利,噪点非常少。
低光拍摄:LinX 通过采用多通道技术来提高摄像头在低光环境下对细节的捕捉能力。并不需要牺牲曝光能力,防止相机抖动带来的模糊。
三维模型景深映射:由于采用了多孔设计,LinX 相机可以精准测算不同图像中,副像素之间的区别,由此可以创建指定场景的三维景深图像。
如果说此前 iPhone 6 及 iPhone 7 系列在相机上的改变还体现在二维层面,那么此次 iPhone X 的摄像能力则是一次革命性的升级,不仅从二维升级到三维场景 ,iPhone X 还具有了场景光制造能力,真正带来了媲美单反的拍摄性能。
苹果的魔杖:不一定是最厉害的创新者,但一定是最厉害的整合者
美国『沃顿知识在线』曾于 2012 年撰文评论:
「苹果自成立后的 35 年里,基本延续了产业垂直整合的战略思路,这种模式需要特定的产品更迭周期才能发挥最大效应,这让谷歌等后起之秀望尘莫及。」
这点在为 iPhone X 的诞生做出贡献的公司的收购上体现的尤为明显,例如先有 Prime Sense 奠定相机技术基础,才有后续的 Face ID 及 Animoji,这是一套成体系的收购。
在前后经历了 7 年的多次收购与磨合后,以 TrueDepth Camera System 为基础的功能才体现在 iPhone X 上,并成为其最大的亮点。
此外,苹果拥有 iPhone 这样优秀可控的硬件载体,并能够以其非凡的工程能力将这些技术整合在一部小小的手机上。除了收购来的技术,苹果还有自研的 A 11 芯片、ISP(图像信号处理)、及各种机器学习优化算法来进行补充与优化。
历数硅谷科技五巨头公司的发展史:苹果(1976)与微软(1975)崛起于 PC 时代,Google(1998)、Facebook(2004)、亚马逊(1995)均崛起于互联网时代,苹果是其中唯一产品线贯穿从 PC 到智能手机、从硬件到软件保持稳定更新迭代,并不断开创新潮流品类的科技公司。
苹果的优势很明显:世界上大概再没有第二家公司能做到像苹果一样,同时拥有世界顶级的硬件与软件资源,并能做到和谐有序的统一管理。
而在互联网之后的下一站——物联网,硬件与软件将逐渐走向融合,我们相信那会是苹果更大的战场。■
主笔:谈喆
· ● 推荐阅读 ● ·
· ● 热门活动 ● ·
● ● ●
深圳湾(公众号 ID:shenzhenware)将持续关注物联网、人工智能、机器人、无人机、智能驾驶、智能家居等领域的新锐产品和初创团队,欢迎联系我们。微信私人客服:小炫(ID:warexx)。